資料平台的建構從基礎設施建設開始,配合業務需求,以大數據技術作為戰略的基石。
基礎設施
包括硬體資源(伺服器,操作系統)及軟體應用(DevOps、Docker、Kubernetes)的安裝,在這之上建構一個大型的"資料庫叢集"負責承載資料的存取和作業(Job)處理、並在考量資料安全問題的前提下考量雲端平台在維運上的便利性、可伸縮性和成本控制上的可能帶來的效益。
資料採擷:對"資料可視化"的支援
建設資料倉儲以展開資料採擷工作,收存分佈在各個業務系統裡的資料,及必要的標準化處理。
這是一個長期迭代的過程,對資料的廣泛需求和資料來源集成會帶來可觀的工作量,需要一個小規模但有管理大型專案經驗的團隊持續改善。
實時處理與機器學習:對"資料洞察與預測"的支援
資料服務
以業務領域為依據劃分,以服務的方式提供其他系統資料接口(Restful、 Web Services、 FTP),從功能、效能和擴展性等技術維度上進行提升。
資料治理
持續對資料資產進行清晰的整理,建立配套的標準規範以及管理職責劃分,同時要確保所有制定的規範和策略能夠確實執行。